#1.导入相关包
import requests
from lxml import etree
import json
import xlwt
import pandas as pd

# 2.获取网页源代码
spider = requests.get('https://www.cingta.com/school/api/name_uni_list/')
a = spider.text
b = json.loads(a)
data = b['data']['list']
print(data[0])

#3.将字典中的同类数据进行抽取
lineid=[]#序号
code=[]#学校标识码
schoolname=[]#学校名字
province=[]#所在地区
city=[]#所在城市
department=[]#主管部门
level=[]#办学层次
type=[]#高校类型

#4.这里搜索页面的16所高校的名字，用选择结构将它们插入进来，由于页面出现的16所高校名字名字不连续，所以只有遍历全表
query=['北京大学','中国人民大学','清华大学','北京航空航天大学','北京理工大学','中国农业大学','北京师范大学',
       '中央民族大学','南开大学','天津大学','大连理工大学','东北大学','吉林大学','哈尔滨工业大学','复旦大学','同济大学']#需要遍历插入的学校名称

for i in range(len(query)):
    for j in range(len(data)):
        if data[j]['schoolname']==query[i]:
            lineid.append(data[j]['lineid'])
            code.append(data[j]['code'])
            schoolname.append(data[j]['schoolname'])
            province.append(data[j]['province'])
            city.append(data[j]['city'])
            department.append(data[j]['department'])
            level.append(data[j]['level'])
            type.append(data[j]['type'])

Dict={'lineid':lineid,'code':code,'schoolname':schoolname,'province':province,
      'city':city,'department':department,'level':level,'type':type}
DFdata=pd.DataFrame(Dict,index=list(range(1,16+1)))
print(DFdata)

#5.将转化成功的dataframe存入excel列表
DFdata.to_excel('C:/Users/HP/Desktop/universitydata.xls')




